Ông sinh ngày 1 tháng 12 năm 1921, nguyên quán tại làng Mỹ Quý (nay là xã Nhị Quý), huyện Cai Lậy, tỉnh Mỹ Tho (nay là tỉnh Tiền Giang). Bắt đầu tham gia hoạt động chính trị từ năm 1944, ông có nhiều bí danh như Cao Lê, Nam Hưng, Năm Quế, Sáu Hoàng, Bảy Chiếm.

Tháng 8 năm 1945, ông tham gia Tổng khởi nghĩa cướp chính quyền, được giao nhiệm vụ chiếm giữ và treo Quốc kỳ tại Dinh Thống đốc Nam Kỳ. Sau đó ông giữ chức vụ Phó giám đốc Sở Công an Nam bộ kiêm Trưởng ty Công an thành phố Sài Gòn - Gia Định. Ngày 29 tháng 12 năm 1946, ông được kết nạp vào Đảng Cộng sản Đông Dương. Tháng 4 năm 1947, ông được cử tham gia Thành ủy Sài Gòn (sau là Đặc khu Sài Gòn - Gia Định).

Từ năm 1950 đến 1954, ông là Giám đốc Công an Liên phân khu miền Đông Nam Bộ. Từ tháng 10 năm 1954 đến tháng 12 năm 1959, ông được phân công công tác tại Ban Địch tình Xứ ủy Nam bộ, tiếp cận bảo vệ Bí thư Xứ ủy Nam bộ Lê Duẩn.

Tháng 7 năm 1960, Xứ ủy Nam Bộ ra Chỉ thị số 01 thành lập Ban Bảo vệ an ninh Xứ ủy, ông Phạm Thái Bường, Xứ ủy viên phụ trách. Ông được phân công làm Phó trưởng ban. Đến tháng 8 năm 1962, Trung ương Cục miền Nam thành lập Ban An ninh Trung ương Cục miền Nam trên cơ sở Ban bảo vệ an ninh Xứ ủy Nam Bộ, do ông Phan Văn Đáng, Thường vụ Trung ương Cục làm Trưởng ban. Ông được phân công làm Phó trưởng ban, kiêm Trưởng ban an ninh Sài Gòn - Gia Định (còn gọi là Ban an ninh T4)